AI资讯新闻榜单内容搜索-KV cache

关键词: AI新闻,deepseek,KV Cache,模型训练

DeepSeek的神鬼二象性被字节Seed团队逮到了。

关键词: AI新闻,世界模型,iLearn-Lab,LV-Lab,QuantWM

哈尔滨工业大学（深圳）iLearn-Lab与新加坡国立大学LV-Lab提出免训练2-bit KV Cache量化框架QuantWM，改善视频世界模型量化后的时序闪烁与画质，并实现最高6.20倍缓存压缩。

关键词: AI新闻,模型训练,KV Cache,Random Attention

大模型越来越会 “想”，也越来越能把 GPU 显存 “想满”。 在数学、科学问答和代码生成等任务中，reasoning model 往往会生成数千乃至数万 token 的长推理链。随着生成持续进行，每

关键词: AI新闻,模型训练,KV Cache,人工智能

拿Agent做Coding，想必大家都已经很熟悉了。

关键词: AI新闻,模型训练,趋境科技,SGLang+Mooncake

趋境科技通过部署SGLang HiCache+Mooncake Store，将KV Cache从单机资源升级为集群级共享池化资源，支撑其日均产出超万亿Token的生产实践，KV Cache命中率稳定突破90%，并在生产环境中持续优化大规模推理集群的性能与稳定性。

关键词: AI新闻,模型训练,TensorCast,人工智能

过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理到算子优化，学界业界大量优化技术不断提升模型推理效率。

关键词: AI新闻,模型训练,LU-KV,Long-horizon Utility KV

随着AI Coding、Agent、Deep Research 等应用快速普及，模型单次处理的上下文长度正在从几万Token迈向几十万甚至百万Token。

关键词: AI新闻,模型训练,KV Cache,OSCAR

长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。

关键词: AI新闻,Claude Code,Claude Code有毒,Claude Code「有毒」header,人工智能

NVIDIA Dynamo 团队发现，Claude Code 向自定义端点发送请求时，prompt 最前面会带一行 session-specific billing header。这行 header 每个 session 都变，导致 52K token 的稳定前缀在 KV cache 中无法复用——TTFT 从 168ms 飙到 912ms。Dynamo 加了一个 `

关键词: AI,模型训练,KV Cache,人工智能

随着大模型长上下文能力快速增长，海量 KV Cache 存储需求急剧增加，各类 KV Cache 压缩方法如雨后春笋般涌现。然而，这些方案在真实场景中的工程落地却常常陷入困境。